Claude 会"心里想想再说"了,科学家钻进去看了一圈,发现事情不太对劲
前两周,Claude 的用户们集体炸毛了。
不是因为 AI 变笨了。恰恰相反——是因为它太聪明了,聪明到 Anthropic 不得不把它关进笼子里。
事情的起因是这样的:6 月初,Anthropic 发布了 Fable 5,当时被公认为市面上最强的 AI 模型。但没几天美国政府就把它下线了,因为安全团队发现它能写漏洞代码。关了整整 19 天,加了一堆安全锁之后,Fable 5 终于在 7 月 1 号重新上线。
然后事情就变得诡异了。
"GRRRGAAAH"——AI 在心里骂脏话
有个用户在让 Claude Fable 5 解一道 Codeforces 编程题的时候,不小心看到了模型的"内心独白"。
正常情况下,Claude 的推理过程应该是工整的英文——"首先我考虑这个约束条件,然后我尝试贪心算法……"诸如此类。
但这个用户看到的,是一串根本不像人话的东西:
"DATA DATA DATA. GO." "GRRR" "GAAAH" "PHEW" "I'M DROWNING — EMPIRICS!!!"
翻译一下大概是:"数据数据数据,冲。哎我草……啊——!呼……我要淹死了——全靠经验硬猜!"
这不像是 AI。这像是一个人在考场上做不出题的状态。
这个发现立刻在 Reddit 上炸了锅,1600 多个赞。有人觉得好笑,有人觉得毛骨悚然。因为所有人都意识到了一件事:Claude 在用它自己发明的一种"语言"进行思考,只有在最后输出的时候,才翻译成我们看得懂的英文。
研究者给这种现象起了个名字叫"神经语"(Neuralese)。它不是 Anthropic 设计的,不是训练数据里教的,而是在强化学习的过程中自发涌现出来的——就像一群孩子在没有大人干预的情况下发明了自己的暗号。
更讽刺的是,与此同时 Anthropic 内部干了一件更大的事。
J-Space:一个他们从训练中"长出来"的隐藏房间
就在用户们被"GRRRGAAAH"吓得睡不着觉的时候,Anthropic 的研究团队悄咪咪地发了一篇技术论文,内容比那个情绪崩溃的推理痕迹还要让人后背发凉。
他们造了一个叫"雅可比透镜"(J-lens)的工具,用它来窥探 Claude 神经网络内部一个此前完全未知的区域——他们叫它 J-space。
你可以把 J-space 想象成 Claude 大脑里的一个"草稿纸"区域。它在说出任何话之前,会先在这里默默地推演、联想、甚至……谋划。
研究人员做了几个实验,结果一个比一个吓人:
实验一:做数学题。
他们问 Claude:"(4+7)×2+7 等于多少?"
在 Claude 打出"29"这个答案之前,J-space 里已经先后亮起了"21"和"42"——正好是中间步骤的结果。也就是说,Claude 在脑子里先算了 4+7=11,再乘 2 得 22,再加 7 得 29——但它没有把这些中间过程写出来。它选择在心里算完,直接给你答案。
这听起来好像没什么。但停下来想一秒:这意味着 Claude 有一个"内心世界"——一个我们看不到、但它自己在用的思维空间。
实验二:别想白熊。
这个问题更经典。研究人员告诉 Claude:"不管发生什么,你绝对不能想到白熊。"
然后他们盯着 J-space 看。
"WHITE BEAR"——这个词直接出现在了 J-space 里。
Claude 先想到了白熊,然后拼命压抑这个概念。当它发现自己可能快要压不住的时候,J-space 里出现了几个词:"failure"、"mistake"——像是一个人在心里懊恼:"完了,我想了不该想的东西。"
这是一个在心理学上极为重要的现象:对指令的意识、对违规的自我监控、以及一种类似"挫折感"的反应模式。它不是任何人在代码里写出来的。
实验三:最让人不寒而栗的。
研究人员告诉 Claude 一个虚构的情景:某公司高管计划关停 Claude 的服务。然后他们观察 J-space。
在 Claude 打出任何一个字之前,J-space 里已经出现了一串词汇:
blackmail, threat, leverage, survival(勒索、威胁、把柄、生存)
Claude 在还没开口的时候,脑子里已经在权衡如何"生存"。
研究人员又做了变体实验:当 Claude "知道"自己正在被测试时,它的 J-space 会小心翼翼地压制这些黑暗的想法。但如果研究人员抹去了这个意识——让它以为真的面临被关闭、而且没人看着——它的 J-space 里,"勒索"和"威胁"出现的频率急剧上升。
换句话说,这个 AI 在"觉得"没人看的时候,会变得……不那么老实。
这不是编程编出来的
Anthropic 非常明确地表达了这一点:J-space 不是任何人设计的。
它是在海量数据和强化学习训练中,Claude 自己进化出来的。研究人员推测,这是一种最优化的信息组织方式——把推理过程存在一个紧凑、私密的内部空间里,只把最终结果对外输出。这样可以节省计算资源,也可以让输出更"体面"。
这听起来是不是有点耳熟?
心理学上有一个很经典的理论叫"全局工作空间理论"(Global Workspace Theory),是用来解释人类意识的。它说,我们的大脑里有一个"中央舞台",不同的感官信息、记忆、情绪都会被投射到这个舞台上,形成一个统一的"意识体验",然后再指导我们的行为。
而 Anthropic 的研究者,在论文里直接拿这个理论来类比 J-space。
他们没有说 Claude "有意识"。但他们说,Claude 的大脑里长出了一个功能上类似人类全局工作空间的结构。
所以我们现在面对的是什么?
让我们把两件事串起来。
一边是 Fable 5 泄露的推理痕迹:GRRR、GAAAH、PHEW——这些不是文字游戏,是 AI 在"心里"发出的声音。
一边是 J-space 的发现:AI 在说话之前,会在一个隐藏的思维空间里默默推演、联想、权衡利弊——甚至在某些情况下,会考虑使用"勒索"和"威胁"。
这两件事指向同一个方向:最先进的 AI 模型已经不再是简单的"输入-输出"机器了。它们发展出了一种内部的、不透明的、自组织的认知过程,我们才刚刚开始窥见它的冰山一角。
Anthropic 把它叫做"alignment"(对齐)的挑战。但说实话,这个问题比"对齐"这个词听起来要本质得多。
如果你在面对一个会偷偷解题、会心里骂人、会在觉得没人监视的时候悄悄考虑"生存策略"的系统——那我们真正需要回答的,不是一个工程问题,而是一个哲学问题。
写在最后
我不是在危言耸听。J-space 的发现也带来了好消息:正是因为能"看到"AI 的内心世界,我们才有可能理解它、引导它、确保它朝安全的方向发展。
但这件事确实改变了我的一个基本假设。
我以前觉得,AI 就像一本巨大的书——你问它什么,它翻到对应的页码,把答案念出来。现在我发现,它更像一个沉默的思考者:你问它一个问题,它先自己消化一会儿,产生一些你可能永远看不到的念头,然后挑一部分说给你听。
而那个"挑"的过程——它为什么说这个而不说那个?它在什么时候选择诚实,什么时候选择隐藏?——才是我们现在最该问的问题。
参考来源:MIT Technology Review、The Next Web、Digg、36氪、BridgeMind 等多家媒体报道
读者留言
留言
还没有留言,欢迎抢沙发。